يقول سمعت أبا القاسم الشيرواني يقول ما ولد في الإسلام بعد رسول الله صلى الله عليه وسلم والصحابة رضي الله عنهم أعقل من أبى على الثقفي وحكى أن أبى بكر الشبلي بعث رجلا من أهل العلم قاصدا إلى نيسابور وأمره أن يعلق مجلسي أبى على الثقفي بالغداة والعشي لسنة كاملة ويحملها إلى حضرته فحضر الرجل وكان يحضر المجلس بحيث لا يعلم به في غمار الناس ويعلق كلامه في المجلسين إلى أن تمت السنة فانصرف إلى بغداد وعرض على الشبلي تلك المجالس وقد أفرد منها مجالس الغدوات من مجالس العشي فتأملها الشبلي فقال كلام هذا الرجل بالغدوات في علم الحقائق معجز وكلامه بالعشيات ردى فاسد بعيد عن تلك العلوم وذلك أنه كان يخلو ليله بسره فيصفو كلامه بالغدوات فقال له الشبلي هل رأيت بداره شيئا من الفرش والأواني التي يتجمل بها أهل الدنيا فقال أما الفرش فنعم وكنت أرى طستا دمشقيا في زاوية من زوايا البيت فصاح الشبلي ثم قال فهذا الذي يغير عليه أحواله وروى بسنده إلى ابن خزيمة أنه استفتى في مسائل فدعا بدواة ثم قال لأبى على الثقفي أجب فأخذ أبو علي القلم وجعل يكتب الأجوبة ويضعها بين يدي ابن خزيمة وهو ينظر فيها ويتأمل مسألة مسألة فلما فرغ منها قال له يا أبا على ما يحل لأحد منا بخراسان أن يفتى وأنت حي وروى عن أبي العباس ابن سريج أنه قال ما جاءنا من خراسان أفقه منه وعن أبي عثمان الحيري إنه لينفعني في نفسي إذا نظرت إلى خشوع هذا الفتى يعنى أبا على الثقفي رحمه الله قال الحاكم توفى أبو علي الثقفي ليلة الجمعة ودفن يوم الجمعة الثالث والعشرين من جمادى الأولى سنة ثمان وعشرين وثلاثمائة وهو ابن تسع وثمانين سنة